{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.globals import set_llm_cache, set_verbose, set_debug\n",
    "from langchain_openai import OpenAI\n",
    "\n",
    "llm = OpenAI(model_name=\"gpt-3.5-turbo-instruct\", n=2, best_of=2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\u001b[32;1m\u001b[1;3m[llm/start]\u001b[0m \u001b[1m[llm:OpenAI] Entering LLM run with input:\n",
      "\u001b[0m{\n",
      "  \"prompts\": [\n",
      "    \"请给我介绍下AIGC\"\n",
      "  ]\n",
      "}\n",
      "\u001b[36;1m\u001b[1;3m[llm/end]\u001b[0m \u001b[1m[llm:OpenAI] [5.75s] Exiting LLM run with output:\n",
      "\u001b[0m{\n",
      "  \"generations\": [\n",
      "    [\n",
      "      {\n",
      "        \"text\": \"\\n\\nAIGC是American International Group, Inc.的缩写，是一家跨国保险和金融服务公司。总部位于美国纽约，成立于1919年，是世界上最大的保险公司之一。\\n\\nAIGC提供多种保险服务，包括财产保险、人寿保险、养老保险、健康保险等。它也提供投资管理、风险管理、退休计划等金融服务。\\n\\nAIGC在全球拥有超过80,000名员工，业务遍布全球，覆盖超过80个国家和地区。它的客户包括个人、家庭、企业和政府机构。\\n\\nAIGC在过去曾遭遇过金融危机，但在经历重组和改革后，已经恢复了稳定和发展。它也致力于推\",\n",
      "        \"generation_info\": {\n",
      "          \"finish_reason\": \"length\",\n",
      "          \"logprobs\": null\n",
      "        },\n",
      "        \"type\": \"Generation\"\n",
      "      },\n",
      "      {\n",
      "        \"text\": \"\\n\\nAIGC（Artificial Intelligence Global Certification）是由全球知名的AI教育机构AIHR和国际认证机构ISO联合推出的全球通用的人工智能认证体系。该认证体系旨在为全球的人工智能从业者提供统一的认证标准，帮助企业和个人在人工智能领域获得更高的认可和竞争力。\\n\\nAIGC认证体系包括基础认证、专业认证和高级认证三个级别，涵盖了人工智能的基础知识、应用技能和领导力能力。参加认证考试需通过在线学习平台学习相关课程并完成考试，通过后可获得官方认证证书。\\n\\nAIGC认证体系的特点包括：\\n\\n1. 全球通用：AIGC认证被全球知名企业\",\n",
      "        \"generation_info\": {\n",
      "          \"finish_reason\": \"length\",\n",
      "          \"logprobs\": null\n",
      "        },\n",
      "        \"type\": \"Generation\"\n",
      "      }\n",
      "    ]\n",
      "  ],\n",
      "  \"llm_output\": {\n",
      "    \"token_usage\": {\n",
      "      \"prompt_tokens\": 10,\n",
      "      \"completion_tokens\": 512,\n",
      "      \"total_tokens\": 522\n",
      "    },\n",
      "    \"model_name\": \"gpt-3.5-turbo-instruct\"\n",
      "  },\n",
      "  \"run\": null\n",
      "}\n",
      "CPU times: total: 15.6 ms\n",
      "Wall time: 5.75 s\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "'\\n\\nAIGC是American International Group, Inc.的缩写，是一家跨国保险和金融服务公司。总部位于美国纽约，成立于1919年，是世界上最大的保险公司之一。\\n\\nAIGC提供多种保险服务，包括财产保险、人寿保险、养老保险、健康保险等。它也提供投资管理、风险管理、退休计划等金融服务。\\n\\nAIGC在全球拥有超过80,000名员工，业务遍布全球，覆盖超过80个国家和地区。它的客户包括个人、家庭、企业和政府机构。\\n\\nAIGC在过去曾遭遇过金融危机，但在经历重组和改革后，已经恢复了稳定和发展。它也致力于推'"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "\n",
    "from langchain.cache import InMemoryCache\n",
    "\n",
    "# set_verbose(True)\n",
    "set_debug(True)\n",
    "set_llm_cache(InMemoryCache())\n",
    "\n",
    "llm.predict(\"请给我介绍下AIGC\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: total: 0 ns\n",
      "Wall time: 1 ms\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "'\\n\\nAIGC是American International Group, Inc.的缩写，是一家跨国保险和金融服务公司。总部位于美国纽约，成立于1919年，是世界上最大的保险公司之一。\\n\\nAIGC提供多种保险服务，包括财产保险、人寿保险、养老保险、健康保险等。它也提供投资管理、风险管理、退休计划等金融服务。\\n\\nAIGC在全球拥有超过80,000名员工，业务遍布全球，覆盖超过80个国家和地区。它的客户包括个人、家庭、企业和政府机构。\\n\\nAIGC在过去曾遭遇过金融危机，但在经历重组和改革后，已经恢复了稳定和发展。它也致力于推'"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%%time\n",
    "\n",
    "llm.predict(\"请给我介绍下AIGC\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": ".venv",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
